Mẹ ông Lê Hãn là Bà Lê Thị Sương (25 tháng 12 năm 1910 - 6 tháng 8 năm 2008) kết hôn với Cố Tổng Bí thư Lê Duẩn năm 1929.

Năm 1964, ông Lê Hãn kết hôn với bà Nguyễn Khánh Nam (con gái đầu lòng của ông Nguyễn Khánh Mỹ, Vụ trưởng Vụ khu vực I, phụ trách các nước XHCN, Bộ Ngoại thương lúc bấy giờ). Ông bà sinh được 3 người con, 2 trai một gái.Con trai đầu của Lê Hãn là Lê Khánh Hải Ủy viên trung ương Đảng khóa XIII; Chủ nhiệm văn phòng chủ tịch nước; Chủ tịch Liên đoàn Bóng đá Việt Nam), thông gia với Chủ tịch Quốc hội Vương Đình Huệ.